そして、文久2年（1862年）に藩主の弟である長岡護美（ながおか・もりよし）の上洛に警護として随行し、政局が混乱を極めている京都へと初めて訪れることになったのです。これに伴って、彦斎は僧籍を解かれ、蓄髪（ちくはつ）が許されました。さらに翌年には藩選抜の親兵となって、尊王攘夷派の公家の三条実美（さんじょう・さねとみ）の信頼を受け、肥後勤王党の幹部格として認められるようになりました。

　この頃、彦斎は「尊王の志士として励むよう」という旨の手紙を実美から送られています。これに感激した彦斎は故郷の息子に、その手紙を送り、それに以下のような自身の歌を添えました。

「君のため　国のためにと　尽くすわが　この身ひとつぞ　なほ（なお）たの（頼）みなる」

　この身一つある限り国のために尽くしてみせる、という彦斎の強い思いが感じ取れます。

　この時期、彦斎はかなりの人数を斬ったと言われています。これが『人斬り彦斎』と言われる所以です。剣術は、僧籍にいたことから我流であり、右足を一歩前に踏み出し、左足を後ろに伸ばして、膝が地に着きそうな低い姿勢から右手だけで敵の胴を薙ぎ払う独自の剣法であったと言われています。
　後に勝海舟が、この頃の彦斎のことを「河上はひどい奴さ。こわくてこわくてならなかったよ」と冗談まじりに振り返っています。

　尊攘活動を盛んに行った彦斎ですが、「八月十八日の政変」により尊攘派の牽引役である長州藩は京都から追放され、政局は公武合体派（薩摩藩や会津藩など）が握ることとなりました。この政変に伴って、三条実美などの尊攘派の公家8人は長州藩に落ち延びています。世に言う「七卿（しちきょう）落ち」です。この時、彦斎は実美に伴って長州藩に入っています。
　熊本藩は依然として積極的に動かず、幕府派としての立場を変えようとしなかったため、同じ志を持つ長州藩と行動を共にしようと考えたようです。

　時局は彦斎にとってさらに悪化していきました。政変によって処罰を受けることになった長州藩は、穏便な処分にしてもらうため宮部鼎蔵らは朝廷に嘆願をしようとしますが、公武合体派が朝廷に影響力を持っていたため、これが認められません。
　そこで宮部は、公武合体派の諸侯を狙った強硬手段に移ろうとしました。それは「強風に応じて御所に火を放ち、中川宮（なかがわのみや）を幽閉し、一橋慶喜（後の徳川慶喜）や松平容保（かたもり：会津藩主）を暗殺して孝明天皇を長州に連れ去る」というものでした。

　この計画は事前に察知され、宮部らの尊攘派の志士たちは会合の最中に襲撃を受け、討死もしくは捕縛されてしまったのです。これが有名な、新選組による「池田屋事件」です。
　自らの師でもある宮部の悲報を長州で聞き、激しく憤った彦斎は、宮部の仇討をするために直ちに京都に上りました。そして、公武合体派の根源を絶つことを心に決めました。彦斎にとっての公武合体派の根源―――。それこそが佐久間象山だったのです。
　この時、象山は幕府の軍政顧問として上洛しており、日本が時世を乗りきるために公武合体や開国を唱えていたのです。朝廷を重んじ、外国に媚びる必要はないと考える尊王攘夷派の筆頭の彦斎にとって、象山は正に仇として映ったことでしょう。

　そして、時は元治元年（1864年）7月11日を迎えます―――。象山は山階宮（やましなのみや）邸に伺候した後、松代藩の宿所である本覚寺に寄り、寝泊りをしている三条木屋町の旅館に騎馬で戻ろうとしていました。
　この時、象山が乗っていた馬は名を「王庭」といい、松代から連れてきた逸物でした。その名馬に西洋の鞍を置き、西洋の鞭を揮って御していたと言います。
「西洋かぶれ」と呼ばれ尊攘派から敵視されていた象山ですが、自信過剰で傲岸不遜なところがあり、天誅吹き荒れる京都で命が狙われようとも、己の言動を変えませんでした。これが尊攘派の志士たちを余計に刺激したようです。

　彦斎は旅館にたどり着く前に象山を暗殺しようと、三条小橋付近に潜んでいました。刺客は彦斎以外に壱岐藩士の松浦虎太郎、因州藩士の前田伊右衛門がいたと言います。刺客の数や名は史料によって異なるのですが、どの史料にも共通している点があります。それはいずれの書にも「河上彦斎」の名が記されているということです。

　時刻は正午過ぎ―――。

　西洋鞭を握り、西洋鞍を置いた馬に跨った象山の姿が見えました。そして、彦斎たちが潜む三条小橋に差し掛かり、宿へ向かう路地に入りました。
　その瞬間、松浦・前田が路上から飛び出し、馬上の象山を挟み撃ちするように襲い掛かりました。

　象山は左股を斬られたものの、馬腹を蹴って鞭を叩き、馬を走り出させました。松浦と前田が後を追いますが、間に合いません。象山は必死に宿を目指しました。しかし、宿を目前にしたところで、象山の目の前に小柄な刺客が飛び出して立ちはだかりました。河上彦斎でした。
　彦斎は迷いなく馬の脚を薙ぎ払い、馬は大きな嘶きと共に倒れ、象山は落馬してしまいました。

　そして、次の瞬間―――。彦斎は低い姿勢から象山の胴を斬り抜きました。